Barbara Villiers được sinh ra và được rửa tội vào ngày 27 tháng 11 năm 1640 tại Giáo xứ Thánh Margaret, Westminster, Middlesex,[2][3] là người con duy nhất của William Villiers, Tử tước Grandison thứ 2, một người cháu của George Villiers, Công tước thứ 1 xứ Buckingham[lower-alpha 1] và Mary Bayning, đồng thừa kế với Paul Bayning, Tử tước Bayning thứ 2, con gái của Tử tước Bayning thứ 1.[4][3] Ngày 29 tháng 9 năm 1643, cha của Barbara qua đời trong Nội chiến Anh lần thứ 1 do bị thương trong thời gian dài vào ngày 26 tháng 7 trong trận bão Bristol.[5] Năm năm sau cái chết của chồng, Mary tái hôn với Charles Villiers, Bá tước thứ 2 xứ Anglesey, em họ của người chồng quá cố.[6][7]

Sau khi Quốc vương Charles I của Anh bị hành quyết vào năm 1649, gia đình Villiers nghèo khó đã bí mật chuyển lòng trung thành sang con trai của Quốc vương là Charles, Thân vương xứ Wales. Hàng năm, vào ngày 29 tháng 5, sinh nhật của vị tân vương, thiếu nữ trẻ tuổi Barbara cùng gia đình xuống hầm nhà bí mật uống mừng sức khỏe của Charles.[9] Vào thời điểm đó, Charles đang sống ở Den Haag, ban đầu được hỗ trợ bởi em rể, Thân vương Willem II xứ Oranje, và sau đó là cháu trai gọi bác là Willem III, con trai của Mary Henrietta, Vương nữ Vương thất.